Ông sinh ra trong gia đình kỹ sư lao động. Năm 1920-1924, ông học tại trường Cao đẳng Đường sắt Catherine (nay là Trường Kỹ thuật Đường sắt Dnepropetrovsk). Từ năm 1924, ông làm phụ lái đầu máy hơi nước.

Năm 1930, ông tốt nghiệp Học viện luyện kim Dnepropetrovsk. Ông làm việc tại Nhà máy Luyện kim và Cán ống dẫn Dnepropetrovsk V.I Lenin, ông làm kỹ sư cơ khí. Từ năm 1933 - phó phân xưởng trưởng, từ tháng 1 năm 1938 - phân xưởng trưởng, từ tháng 1 năm 1940 - kỹ sư trưởng. Vào cuối những năm 1930, ông đã làm quen với Leonid Brezhnev. Tháng 9 năm 1940, ông gia nhập Đảng Cộng sản toàn Liên bang (b).

Từ tháng 9 năm 1941, ông là kỹ sư trưởng của Nhà máy Novotrubny ở Pervouralsk, tỉnh Sverdlovsk; từ tháng 7 năm 1947 đến tháng 12 năm 1950, ông là giám đốc Nhà máy luyện kim ống dẫn phía Nam ở Nikopol. Năm 1943, cùng với các nhân viên của nhà máy được trao Giải thưởng Stalin, ông đã chuyển 100.000 rúp cho Quỹ Quốc phòng (Фонд обороны).

Từ tháng 12 năm 1950, ông là Vụ trưởng Vụ Công nghiệp ống dẫn thiết yếu của Bộ Luyện kim màu Liên Xô; Từ tháng 9 năm 1955, ông là Thứ trưởng Bộ Luyện kim màu Liên Xô, chịu trách nhiệm về ngành công nghiệp ống dẫn. Năm 1957-1960 - Chủ tịch Hội đồng Kinh tế Quốc gia Dnepropetrovsk. Năm 1959, ông là thành viên của phái đoàn Liên Xô, do Bí thư thứ nhất Ban Chấp hành Trung ương Đảng Cộng sản Liên Xô Nikita Khrushchev dẫn đầu, đã có chuyến thăm chính thức đầu tiên tới Hoa Kỳ. Năm 1960, ông trở thành Phó Chủ tịch Hội đồng Khoa học và Kinh tế Nhà nước thuộc Hội đồng Bộ trưởng Liên Xô.

Tại Đại hội XXII Đảng năm 1961, ông được bầu làm ủy viên dự khuyết Trung ương Đảng Cộng sản Liên Xô. Từ năm 1963 đến năm 1965, ông giữ chức Phó Chủ nhiệm Ủy ban Kế hoạch Nhà nước Liên Xô. Sau khi Brezhnev lên nắm quyền, Tikhonov bắt đầu phát triển sự nghiệp nhanh chóng: năm 1965, ông được bổ nhiệm làm Phó Chủ tịch Hội đồng Bộ trưởng Liên Xô, năm 1966 ông trở thành ủy viên Trung ương Đảng Cộng sản Liên Xô, năm 1975 ông nhận danh hiệu Anh hùng Lao động xã hội chủ nghĩa.

Năm 1976, Chủ tịch Hội đồng Bộ trưởng Alexei Kosygin những năm cuối nhiệm kỳ, vì lý do sức khỏe nên không đảm bảo được công việc, Tikhonov trở thành Phó Chủ tịch thứ nhất Hội đồng Bộ trưởng và đảm nhiệm công việc thay thế Kosygin. Vai trò của ông trong Hội đồng Bộ trưởng Liên Xô rất lớn

Ngày 27 tháng 11 năm 1978, ông được bầu làm Ủy viên dự khuyết Bộ Chính trị Ban Chấp hành Trung ương Đảng Cộng sản Liên Xô, và ngày 27 tháng 11 năm 1979, ông được bầu làm Ủy viên Bộ Chính trị.

Tikhonov không được thông báo về quyết định can thiệp vào Afghanistan; do đó mối quan hệ của ông với Dmitriy Ustinov, Bộ trưởng Bộ Quốc phòng vào thời điểm đó, trở nên xấu đi.